Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States
Puffin-World：用原生 3D 世界状态扩展统一多模态模型
🧭 多模态世界模型 · 3D 生成重建
S-Lab, Nanyang Technological University · University of Michigan · Beijing Jiaotong University · ACE Robotics
统一多模态架构，联合物理/几何/外观三态与 Omni-Camera 实现 3D 世界生成重建
📌 工作参考价值（4 点）
- 可借鉴「原生状态联合建模」：在商品理解/生成中，将视觉、深度/几何、物理属性（如材质、尺寸、重力约束）作为并行状态统一建模，替代只用图文 embedding，可提升家居、鞋服等品类空间一致性。
- 用显式 Omni-Camera 参数控制多视角生成：商品视频、虚拟试穿、3D 展示素材可 ground 绝对相机内外参，生成物理稳定、多角度一致内容，减少后期抖动与畸变。
- 外观-几何耦合生成：同时输出 RGB 和 depth 再用于重建，适合商品 3D 重建/AR 展示/虚拟棚拍，能对齐纹理与几何，降低“贴图漂移”。
- 闭环自校准探索思路可迁移到 Agent 拍摄/漫游：让模型根据当前状态规划下一视角并在线修正相机与场景参数，但需构建匹配业务场景的轨迹数据。